Tháng 12/1950, thống chế Jean de Lattre de Tassigny được bổ nhiệm làm Cao ủy Đông Dương. Cogny cùng với trung tướng Raoul Salan cũng theo De Lattre de Tassigny sang Việt Nam. Tháng 1/1952, trung tướng Salan thay vị thống chế quá cố De Lattre de Tassigny, làm tổng chỉ huy Quân đội viễn chinh Pháp ở Đông Dương và giao cho Cogny chỉ huy một sư đoàn bộ binh và đoàn quân lưu động ở vùng châu thổ sông Hồng[5].

Tháng 5/1953, đại tướng Henri Navarre lên thay đại tướng Salan, bổ nhiệm Cogny thay thiếu tướng De Linarès nắm quyền chỉ huy quân đội viễn chinh Pháp ở Bắc Kỳ và được thăng cấp trung tướng (général de division)[3].

Điện Biên Phủ

Theo Davidson, thì chính Cogny đã đề xuất với Navarre dùng Điện Biên Phủ làm một "điểm tựa"[9]. Tuy nhiên Jules Roy không đồng ý với Davidson, cho rằng: Điện Biên Phủ là nơi Cogny hình dung như một căn cứ lưu động cho các cuộc hành quân, nhưng Navarre lại coi đó là một pháo đài nặng về phòng thủ. Cogny là một trong số nhiều sĩ quan đã phản đối chiến lược mới này, ông nói rằng: "chúng ta đang liều lĩnh ở một trận Nà Sản mới trong những điều kiện tồi tệ hơn".[10] Tuy nhiên, những lời phản đối này đã không hiệu quả. Dù đang ở Hà Nội khi trận Điện Biên Phủ diễn ra, nhưng khi nhìn thấy trận chiến bất lợi cho Pháp, Cogny đã tìm cách tới pháo đài bị bao vây này để nắm quyền chỉ huy; nhưng máy bay chở ông đã không thể hạ cánh vì bị lực lượng súng cao xạ phòng không của Quân đội nhân dân Việt Nam tấn công ngày 17/3/1954. Ông đã định nhảy dù xuống, nhưng người ta đã khuyên ông không nên làm việc này vì quá nguy hiểm.[11]

Trong suốt cuộc chiến, Cogny xảy ra mâu thuẫn với cấp trên Navarre về việc bố trí các lực lượng giữa Điện Biên Phủ với khu đồng bằng Bắc bộ do Cogny cai quản, và cuộc hành quân 'Atlanta' của Navarre. Cuối cùng, tướng Navarre viết một lá thư khiển trách Cogny ngày 29/3/1954, và ông này ngay lập tức thông báo cho cấp trên rằng ông không muốn phục vụ dưới sự chỉ huy của ông ta nữa.[12] Thời gian ra đi của ông không được bàn tới vào lúc đó, và Cogny tiếp tục phục vụ dưới quyền chỉ huy của Navarre, nhưng quan hệ giữa hai người xấu đi đáng kể. Cogny tiếp tục tìm cách từ chối gửi quân tăng viện cho Điện Biên Phủ hoặc các nỗ lực cứu viện liên quan vì ông cho rằng việc đó sẽ làm suy giảm sức mạnh của mình ở vùng đồng bằng Bắc Bộ.[13] Ngày 2/5/1954, Navarre đã đi xa hơn bằng cách đe dọa điều tra Cogny về tội "chủ bại" trong một thông cáo báo chí.[14][15]

Khi tập đoàn cứ điểm Điện Biên Phủ sắp thất thủ, chính Cogny đã nhận những lời kêu gọi qua radio từ người chỉ huy ở đây,[3] thiếu tướng Christian de Castries.

De Castries nói: "Quân Việt ở khắp nơi. Tình hình rất nguy kịch. Trận chiến ở thế cài răng lược khắp nơi. Tôi cảm thấy sắp kết thúc, nhưng chúng tôi sẽ chiến đấu tới cùng."

Cogny: "Vâng, tôi hiểu. Các anh sẽ chiến đấu tới cùng. Không có chuyện các anh sẽ giương cờ trắng, sau sự chống cự anh hùng của các anh".

Và:

De Castries: "Tôi sẽ cho nổ tung các cơ sở. Các kho đạn dược đã phát nổ rồi. Tạm biệt".

Cogny: "Vâng, rồi, tạm biệt, ông bạn già".[3]

Đến đêm ngày 7/5/1954, mọi vị trí trung tâm của Pháp ở Điện Biên Phủ đều bị Việt Minh chiếm và chính thức thất thủ.[3]

Chỉ huy ở châu Phi

Cogny được thăng cấp đại tướng năm 1956.

Tháng Giêng năm 1957, một cuộc mưu sát nhắm vào tướng Raoul Salan ở Algérie được thi hành bởi một cựu binh sĩ nhảy dù người Pháp nhằm để cho tướng Cogny lên thay,[16] song le năm 1963 Cogny đã trở thành người chỉ huy Lực lượng Pháp ở Trung Phi.[3]